机器学习中的许多问题都可以表达为在措施空间上优化凸功能。本文研究了这种无限维度的镜子下降算法的收敛性。通过定向衍生物来定义布雷格曼的差异，我们得出了相对平滑且强烈凸成的功能对的方案的收敛。将我们的结果应用于联合分布和kullback-leibler（kl）差异，我们表明，在连续设置中，Sinkhorn的熵最佳传输的原始迭代对应于镜子下降，我们获得了其（sub）线性收敛的新证明。我们还表明，期望最大化（EM）始终可以正式写作作为镜下下降，并且在固定混合物时优化潜在分布时，我们得出了趋同的收敛速率。
translated by 谷歌翻译
形状约束，例如非负，单调性，凸度或超模型性，在机器学习和统计的各种应用中都起着关键作用。但是，将此方面的信息以艰苦的方式（例如，在间隔的所有点）纳入预测模型，这是一个众所周知的具有挑战性的问题。我们提出了一个统一和模块化的凸优化框架，依赖于二阶锥（SOC）拧紧，以编码属于矢量值重现的载体内核Hilbert Spaces（VRKHSS）的模型对函数衍生物的硬仿射SDP约束。所提出的方法的模块化性质允许同时处理多个形状约束，并将无限数量的约束限制为有限的许多。我们证明了所提出的方案的收敛及其自适应变体的收敛性，利用VRKHSS的几何特性。由于基于覆盖的拧紧构造，该方法特别适合具有小到中等输入维度的任务。该方法的效率在形状优化，机器人技术和计量经济学的背景下进行了说明。
translated by 谷歌翻译